''''''
"""
大模型与向量模型：
    把大模型想象成一位博学多才、富有逻辑和创造力的“大脑”，而向量模型则是这位大脑的“海量、精准、闪电般的记忆库”。

向量模型:
    把向量数据库想象成一个 “跨模态搜索引擎” 。它不关心你存入的是文本、图片、声音还是视频，它只处理这些数据对应的“向量”。检索时，它也不关心你用什么提问，只要能把问题也变成向量，它就能找到最相似的答案。
    核心思想：
        将一切信息（文字、图片、音频、视频等）转换为计算机能理解的数学形式——即“向量”（一组数字）。
    核心任务：表示与检索
        表示：
            通过“嵌入”技术，将一段文本（比如一个词、一句话、一篇文章）转换成一个高维空间中的点（即向量）。这个向量捕捉了这段文本的语义信息。语义相近的文本，它们的向量在空间中的距离也会很近。
            例如： “猫”和“狗”都是宠物，它们的向量距离会比较近；“猫”和“电脑”的向量距离就会很远。
        检索：
            当有一个新的查询时，也将它转换为向量，然后在巨大的向量数据库中进行搜索，找到与它向量距离最近的（即语义最相似的）那些向量。这被称为“向量相似度搜索”。
    关键特点：
        它不生成内容，只负责“找到”最相关的内容。
        速度快：专门为海量数据的快速相似性搜索而优化。
        理解语义：比传统的关键词匹配（比如百度/Google的原始搜索）更能理解用户的意图。
   典型应用：
        语义搜索：
            搜索“会飞的哺乳动物”，能返回“蝙蝠”相关的结果，即使“蝙蝠”这个词并没有出现。
        推荐系统：
            因为你喜欢了商品A，系统通过向量找到与A最相似的商品B、C、D推荐给你。
        问答系统的基础：
            先从知识库中“检索”出与问题最相关的几段文本。

大模型：        
    （如GPT-4、文心一言、通义千问等）的核心能力是：理解和生成自然语言。
    核心任务：
        理解与生成
            理解：
                能够理解用户输入的复杂指令、问题和上下文。
            生成：
                基于它从海量数据中学到的知识、逻辑和语言模式，创造出新的、连贯的、符合人类习惯的文本。
    关键特点：   
        内容生成：
            这是它与向量模型最本质的区别。它能写文章、写代码、写诗、做翻译、进行逻辑推理。
        通识能力强：
            在训练数据覆盖的范围内，它拥有非常广博的知识。
        存在局限性：
            知识滞后：它的知识截止于其训练数据的时间点，无法获取最新信息。
            可能“幻觉”：会一本正经地编造看似合理但实际错误的信息。
            缺乏私有知识：不了解你公司内部的文档、你的个人笔记等非公开信息。

单独来看，大模型和向量模型各有短板。但将它们结合起来，就产生了“1+1 > 2”的效果，这也就是目前最流行的 RAG（检索增强生成） 技术。
"""


'''

基于 Transformer 的文本嵌入模型（如 text-embedding-ada-002, BGE 等），将手册中的每一段文本都转换成一个向量。
将这些向量和对应的原文存储到向量数据库中。
注意：
    这个“文本嵌入模型”本身通常就是一个经过专门训练的、结构简化了的 Transformer（通常是Encoder-only模型，如BERT
    
您的理解100%正确——Token确实需要通过向量转换才能输入大模型，这由模型内部的嵌入层完成。同时，在更大的系统架构中，还有独立的外部向量模型负责检索增强，两者各司其职，共同支撑起大模型的强大能力
'''